• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:

    公开号:WO1985004502A1
    申请号:PCT/JP1985/000144
    申请日:1985-03-25
    公开日:1985-10-10
    发明作者:Yosie Nisida；Seiji Hata；Akira Miyakawa
    申请人:Hitachi, Ltd.；
    IPC主号:G06K9-00
    专利说明:
    [0001] 明 細 書
    [0002] 画像処理における姿勢判定方式
    [0003] 技 術 分 野
    [0004] 本発明は、 画像処理に よ る部品等の認識方法に係 り 、 特に部品の回転に よ る位置変化ま たは姿勢の表裏の認識 に好適な姿勢判定方式に関する。
    [0005] 背 景 技 術
    [0006] 従来の画像処理において も 、 部品の穴の位置関係ゃモ ー メ ン 卜 を求めて、 姿勢の判定を行う 方法力' と られて すこ。 しかし、 そのパ ラ メ ー タの選択については、 各認識 の都度、 対象にあわせてユーザーに よ り 適当なパ ラ メ 一 タが決定されていた。 このため、 ユーザ一 自 身に依存す る所が多 く 、 シ ス テ ム開発が必ずし も効率的でなかつた 0
    [0007] 発 明 の 開 示
    [0008] 本発明の 目的は、 この よ う な事情に鑑み、 画像処理に よ る部品認識に際し、 高速で高精度の姿勢判定方式を提 供する こ とにある。
    [0009] 本発明に よ る姿勢判定方式は、 標準デー タ作成時に、 姿勢判定に用いるパ ラ メ ー タ の組合せを決定してお き 、 それらの組合せに よ っ てタ イ プ分けを行い、 認識時に、 そのタ イ ブご とに指定されたパ ラ メ ー タ の組合せについ て処理を行って所望の部品の姿勢を判定する よ う に した も のである o 本発明に よれば、 任意の部品に対して 自動的に認識デ ータを生成するので、 対象ごと の姿勢判定に関する プロ グ'ラ ミ ン グの必要がな ぐ 、 ま た認識時にお ては必要十 分なパ ラ メ ータ のみ算出する の で、 高速化され、 さ らに 各パラ メ ータは精度的に評価 · 保証されたも のであるた め、 高精度な も の とな り 、 その効果は顕著である。
    [0010] 上記以外の本発明の 目的、 特徵およ び効杲は、 図面を 参照してなされる以下の説明から よ り いつそう 明らかと d れる。
    [0011] 図面の簡単な説明
    [0012] 第 1 図は、 本発明に よ る姿勢判定方式が適用される シ ス テ ム の 1 例を示す図、 第 2 図は、 画像処理装置の構成 図、 第 3 図は、 本凳明 ·に よ る姿勢判定の処理手順を示す フ ロ ー チ ャ ー ト 、 第 4 図は、 本発明に係る姿勢判定パ ラ メ ー タ の説明図、 第 5 図は、 姿勢判定パ ラ メ ー タを記憶 する テー ブルを示す図、 第 ό 図は、 標準データ作成時の 姿勢判定パ ラ メ ータ決定の処理手順を示すフ 口 一チ ヤ 一 ト 、 第 7 図は、 第 ό 図における 1 部の処理手順をさ らに 具体的に説明するための フ ロ ーチ ヤ 一 ト である。
    [0013] 発明を実施するための最良の形態 以下、 本発明の実施例を図に基づいて説明する。
    [0014] 第 1 図は、 本発明に係る姿勢判定'方式の一実施例が実 現される 自動組立シ ス テ ム の構成図である。 本シ ス テ ムは、 施回式パー ツ フ ィ ー 1 に よ つて'供給 された部品を、 ベ ル ト コ ン ベ ア 2 の上を流れて来る シ ャ ーシに組み付ける も のである。 ま ず、 T V カ メ ラ 3 で施 回式パー ツ フ ィ ーダ 1 上の部品の画像を入力し、 画像処 理装置 4 に転送する。 画像処理装置 4 では、 入力画像か ら組み付けるべき部品の有無を認識し、 当該部品が'ある 場合は、 部品の位置 ， 姿勢を計算し てこれを組立ロ ボ ッ ト 5 に転送する。 組立ロ ボ ッ ト 5 は、 画像処理装置 4 か ら送ら れた情報を も とに、 部品をつかみ、 組付ける。 施 回式パ ー ツ フ ィ 一ダ 1 は、 中央の円盤上に山積みされた 部品を外周の ト ラ ッ ク上に供給する。 部品は、 ト ラ ッ ク 上で 2 次元的に任意の位置 ， 姿勢にあ り 、 組立 ロ ボ ッ ト 5 が部品をつかむためには、 画像から部品の方向性を知 る必要がある。
    [0015] 第 1 図における画像処理装置 4 の構成を第 2 図に示す ( 画像処理装置 4 では、 T V カ メ ラ 3 か ら の画像を '画像入 力ボー ド 1 0にて入力 し、 こ こで画像中の各画素の明る さ 強度を表わすディ ジ タ ル値に変換し、 画像の輪郭線に対 する 2 値化を行な う 。 これを画像メ モ リ 9 に格納し、 処 理装置 8 に よ る姿勢判定処理等に よ り 部品の位置 ， 姿勢 を認識し、 これをバス ό ， 入出力 （ 1ノ0 ) ボー ド 7 を介 し て組立ロ ボッ ト 5 に転送する。
    [0016] 第 3 図は、 本発明に係る姿勢判定方式の一実施例の処 理手順図であって、 その (A)は標準デー の作成処理、 同 (B)は認識処理に対する も のである。 以下、 第 5 図に基づ いて、 標準データの作成手順と認識手順を説明する。 両 者と も 、 T V カ メ ラ 3 を介して画像を入力し （1 (32, 202)、
    [0017] 2 値化し、 白黒のかたま り ごとに領域を分けるセ グ メ ン テー シ ョ ン 理 ( ラ ベ リ ン グ処理 ） を行う （104, 204) o 次に標準データ作成時には、 第 S 図（A)に示す.よ う に、 ま ず、 閾値を補正するために用いる同定パ ラ メ ータ （ 面 積 ， 穴数等 ） を求め （ 1 (3 0 ) 、 標準データ と して求めた 同定パ ラ メ ータを登録する （ 1 0 8 ) 。 次に姿勢判定処理 で姿勢を最も高精度に決定でき るパ ラ メ ータ の組合せを 第 4 図に示すパラ メ ー タから選択し （ 1 1 0 ) 、 そのパ ラ メ ー タ に よ る タ イ ブ分けを行 登録する （ 1 1 2 ) 。 マ ツ チ ング処理の必要性の有無を判定し （ 1 1 4 ) 、 その有無 を登録する （ 1 1 ό ) 。
    [0018] 認識時は、 第 3 図（Β)に示すよ う に、 セ グ メ ン テ ー シ ョ ン後、 標準データから入力 した部品に近いデータ をサ一 チ し （ 2 0 ό ) 、 入力 した部品の同定パ ラ メ ータを計算し ( 2 0 8 ) 、 標準データ との比較を行う （ 2 1 Q 0 —致し た場合は、 姿勢を認識する必要があるか判定し （ 2 1 2 )、 必要に応じて標準データ作成時に指定したタ イ ブ毎のパ ラ メ ー タ によ り姿勢判定処理を行う （ 2 1 4 ) 。 こ の姿勢 判定に従い標準データ とのマ ッ チ ン グ処理を行 （210)、 その重ね合せた面積の一致度に よ り 部 口の認識を行う （2 1 8 ) o マ ッ チングが成功した も のについては入力 した部 品のデータを ロ ボッ ト に転送する （2 20 , 222 ) o
    [0019] 第 4 図は、 本発明に係る姿勢判定方式の姿勢判定パ ラ メ ー タ の説明図である。
    [0020] 各パ ラ メ ー タ の詳細を説明する。
    [0021] (1 ) 穴位置……部品の重心と穴の重心を結ぶ 直線につ いて、 部品の重心まわ り に、 角度と長さに よ って対 応付ける o
    [0022] (2) 2 次モ ー メ ン ト ……部品の 2 次モ ー メ ン ト に よ る 慣性主軸 0
    [0023] (3) 最遠点……重心と輪郭線を結ぶ最長距離つ
    [0024] (4) 極値……重心と輪郭線を結ぶ距錐が増加から 減少 し始め る点であっ て、 画像パ タ ー ン には複数点が存 在する。
    [0025] 上記のパ ラ メ ー タ を求め、 第 5 図に示すテー ブルに記 憶する。
    [0026] 次に、 本発明に係る姿勢判定方式の標準データ作成時 ( 第 図（A) ) の姿勢判定処理 （ 1 1 ひ ） の詳細な処理手順 を第 ό 図に示す。
    [0027] 姿勢判定は、 以下の手順に よ り 各パ ラ メ ータについて 姿勢判定が可能かど う か判定し、 その結果に従い組合せ を決定し、 その組合せに よ り 8 つの タ イ プ分けを行 う 。
    [0028] ま ず、 穴位置に よ り 姿勢が決定でき るか判定する（304)。 穴位置に よ り姿勢を判定でき る も のを、 TYP E = 1 とす る （ 3 0 6 ) 。 次に、 上記以外の も のに対して 2 次モ ーメ ン ト （ 主軸方向 ） が精度よ く 求ま るか長軸と 短 軸 の 比. I Y2/ 2- 1 I によ り判定し （ 3 0 8 ) 、 対称形部品 と区別 する。 まず長軸 短軸の比が大き も のは対称形部品で はないため外形は一意に決ま る方向性を持つ部品である。 そこで、 最遠点がただ 1 つ決ま るかど う か判定し （ 3 1 0)、 最遠点に よ って姿勢の决定でき る も のを、 Τ Υ Ρ Ε = 2 と する （ 3 1 2 ) ο 長方形など主軸方向が求ま るが、 2 っ以 上の似た最遠点があ り 、 穴がある場合は、 穴位置パタ ー ン を作成し、 2 -次モ ー メ ン ト で大ま かな方向を決定した 上'で、 穴位置パタ ー ンに よ り 姿勢を决定でき るかど う か 判定する （ 3 1 4 ) 。 2 次モ ー メ ン ト +穴位置パ タ ー ン で 姿勢を决定でき る も のを、 TY P E = 】とする （ 3 1 ό ) o 次に穴がな 場合など穴位置バタ ー ン に よ つて姿勢を 決定でき な も のは、 外形 と重心を結んだ距離に よ り表 わ した極値パ タ ー ン と 、 2 次モ ー メ ン ト の組合せで姿勢 を決定でき るか判定する （ 3 1 8 ；) 。 こ こで決定でき る も のを、 ΤΥ Ρ Ε = 4 とする （ 3 2 0 ) 。 2 次モ ー メ ン ト が求 ま るが、 穴位置パタ ー ン ， 極 直パタ ー ンを組合せて も方 向を决定できな 部品は 2 次モ ー メ ン ト を も とに 180°姿 勢を加えて 2 度マ ッ チ ン グを行って （ 5 2 2 ) 、 その不一 致度がある一定値 J¾上ある も のにつ ては、 TY P E = 5 とする （ 3 2 4 ) 。 2 度のマ ッ チ ン グでも判定不可能な も のについては、 認識不可パタ ー ン となる （ 5 2 0 ) 。
    [0029] 次に、 2 次モ ー メ ン ト の長軸 短軸比が小さい も のは 対称的な形状をしている。 たとえば、 円形 ， 正方形な ど があげられる。 こ こ で、 穴がある部品については、 穴位 置パ タ ー ンを作成し、 穴位置パ タ ー ン の マ ッ チ ン グに よ つ て、 姿勢を判定する （ 5 2 8 ) 。 これを ΤΥ Ρ Ε = ό とす る （ 3 3 0 ) 。 次に穴がない場合は、 極値パタ ー ンを作成 し、 極値パタ ー ンのみに よ り 姿勢を判定する （ 3 3 2 ) 。 これを Τ Ϋ Ρ Ε = 7 とする （ 3 5 4 ) 。 たとえば、 穴のな 正方形に近いひし形は、 4 点の極値を持っため、 こ の方 法で姿勢判定ができ る。 比較的対称的な形状をしてお り、 さ らに穴位置パタ ー ン ， 極値パ タ ー ンでも特に特徵のな い円形等については、 対称性処理を行 う 部品であるか判 定 し （ 5 5 ό ) 、 対^性のある部品であれば、 最遠点極値 で対称性があるか判定 し （ 3 3 8 ) 、 ある も のは Τ Υ Ρ Ε = 8 と する （ 3 4 0 ) ο たとえば、 円形部品である。 上記以 外の も のは、 認識不可パタ ー ン とする （ 3 2 0 ) 。
    [0030] 次に、 第 ό 図に示すス テ ッ プ S04 の手順についてさ ら に詳細に説明する。 第 7 図に示すよ う に、 穴の有無のチ エ ッ クを行 （ 4 0 2 ) 、 次に穴が一意に決定でき るか否 かについて、 穴力 つか （ 4 0 4 ) 、 2 つ以上穴のある場 合は、 それぞれの穴の重心と部品の外形からの重心と の 距離が 1 番長い も のが唯一決定でき るか判定する （40ό) ο 次に精度につ て穴の重心と部品の外形の重心の距離が ある一定距離 ¾上離れて るかを判定し （ 4 (3 8 ) 、 一意 性と精度の両方を満足した も のを穴位置での判定が^能 なも の とする （ 4 1 0 ) 。 これが 0 図における TY P E-
    [0031] 1 と なる。 他のパ ラ メ ー タ につ て も必要に応じ同様な 評価に よ り姿勢判定を行え るかど う かを決定する。
    [0032] こ の よ う に タ イ プ 1 〜 8 に分けられ、 認識時には、 こ のタ イ プ別に指定されたパ ラ メ ー タのみを求め、 姿勢を 決定し、 マ ッ チ ン グを行う 。
    [0033] 以上の よ う に任意の部品に対して 自動的に認識データ を生成するので、 対象ごと の姿勢判定に闋する プ ロ グラ ミ ン グの必要がな く 、 ま た認識時においては必要十分な パ ラ メ ータ のみ算出するので、 高速化される。 さ らに、 各パ ラ メ ータは精度的に評価 ， 保証されるため、 .高精度 な も の となる。
    [0034] 産業上の利用可能性
    [0035] 本発明は、 回転に よ る位置変化や姿勢に表裏のある部 品の認識に好適である。 特に、 パ ー ツ フ ィ ーダ上の部品 を T V 力 メ ラで撮像し、 その画像信号に基づいて画像処 理装置が対象部品の有無 ， 位置 ， 姿勢を認識し、 その情 報 ' 指示に従って ロ ボ ッ 卜 が当該部品の把握 ， 組付けを する よ う に した自動組立シ ス テ ム に利用 して好適である。
    权利要求:
    Claims 請 求 の 範 囲 .
    1. 入力画像信号に基 て、 対象部品の有無 ， 位置 ， 姿 勢を認識する画像処理装置において、 標準データ作成 時に、 姿勢判定に用いるパ ラ メ ー タ の組合せを决定し ておき 、 それらの組合せに よ ってタ イ プ分けを行 、 認識時に、 そのタ イ プご とに指定されたパ ラ メ ータの 組合せについて処理を行って所望の部品の姿勢を判定 する こ と を特徵とする姿勢判定方式。
    2. 前記標準デー タ作成時に、 各パ ラ メ ー タ の精度を評0 価しておき 、 姿勢判定に際して精度が一定値以上とな る よ う なパ ラ メ ータ の組合せを選択する よ う に した特 許請求の範囲第 1 項記載の姿勢判定方式。
    3. 前記パ ラ メ ー タ と して、 対象部品の穴位置、 主軸方 向、 最遠点およ び極値パタ ー ンを用い る こ と を特徴と5 する特許請求の範囲第 1 項記載の姿勢判定方式。
    D
    类似技术:
    公开号 | 公开日 | 专利标题
    US9044858B2|2015-06-02|Target object gripping apparatus, method for controlling the same and storage medium
    Hirschmuller2006|Stereo vision in structured environments by consistent semi-global matching
    Matei et al.2006|Rapid object indexing using locality sensitive hashing and joint 3D-signature space estimation
    US4437114A|1984-03-13|Robotic vision system
    US5901239A|1999-05-04|Skin pattern and fingerprint classification system
    US5040223A|1991-08-13|Fingerprint verification method employing plural correlation judgement levels and sequential judgement stages
    CN101271515B|2014-03-19|能识别多角度目标的图像检测装置
    US4516265A|1985-05-07|Optical character reader
    US7200270B2|2007-04-03|Pattern recognition apparatus and method using distributed model representation of partial images
    US6845296B2|2005-01-18|Object taking out apparatus
    EP0354701B1|1995-10-04|Method of recognizing patterns
    EP0115462B1|1988-08-24|Procédé de reconnaissance automatique d'une image, à partir d'une image correspondante de référence
    DE3012559C2|1987-11-19|
    US5341437A|1994-08-23|Method of determining the configuration of a path for motor vehicle
    Thayananthan et al.2003|Shape context and chamfer matching in cluttered scenes
    CN101925905B|2013-06-19|根据特征图像流程识别和验证未知文档
    EP1983484B1|2014-04-16|Three-dimensional-object detecting device
    Lai et al.2000|Lane detection by orientation and length discrimination
    US4944021A|1990-07-24|Identification system employing verification of fingerprints
    US8780110B2|2014-07-15|Computer vision CAD model
    EP0506327B1|1998-08-12|A system and method for ranking and extracting salient contours for target recognition
    US7822264B2|2010-10-26|Computer-vision system for classification and spatial localization of bounded 3D-objects
    JP2885823B2|1999-04-26|視覚認識装置
    Oram2001|Rectification for any epipolar geometry.
    US7847844B2|2010-12-07|Information processing apparatus and method for determining whether a detected index is an index included in sensed image data
    同族专利:
    公开号 | 公开日
    EP0178329A1|1986-04-23|
    US4680802A|1987-07-14|
    EP0178329A4|1988-07-04|
    JPS60200385A|1985-10-09|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    法律状态:
    1985-10-10| AK| Designated states|Designated state(s): US |
    1985-10-10| AL| Designated countries for regional patents|Designated state(s): DE FR GB |
    1985-11-25| WWE| Wipo information: entry into national phase|Ref document number: 1985901573 Country of ref document: EP |
    1986-04-23| WWP| Wipo information: published in national office|Ref document number: 1985901573 Country of ref document: EP |
    1991-11-28| WWW| Wipo information: withdrawn in national office|Ref document number: 1985901573 Country of ref document: EP |
    优先权:
    申请号 | 申请日 | 专利标题
    [返回顶部]